工具推荐|利用python

您所在的位置:网站首页 ubuntu cdo安装 工具推荐|利用python

工具推荐|利用python

2024-07-17 17:39| 来源: 网络整理| 查看: 265

如果你不喜欢命令行的操作方式,或者想要和python 的生态进行更好的结合,那么你可以尝试使用python-cdo,利用python脚本语言的优势来处理气象数据。命令行的方式有其优势,比如简单易操作,可扩展性更强等,利用cdo的python接口也有其特有的优势,比如:

通过numpy/narray可以进行直接的数据操作临时文件自动处理灵活的并行化计算条件处理操作扩展新操作符安装

安装方式非常简单,运行以下命令即可:

代码语言:javascript复制pip install cdo #或 conda install python-cdo 使用方法操作符

一般情况下导入库时不建议使用如下方式导入的,建议使用 from ... import ... as ... 。为了调用所有操作符,建议按照 In [5] 方式执行赋值语句,以防出现属性调用错误。

查看文件信息代码语言:javascript复制In [4]: from cdo import * In [5]: cdo = Cdo() In [6]: cdo.sinfon(input = "wrfout_d02_2016-06-23_06_00_00") Out[6]: ['File format : NetCDF2', '-1 : Institut Source Steptype Levels Num Points Num Dtype : Parameter name', '1 : unknown unknown instant 1 1 48240 1 F32 : LU_INDEX', ..... '175 : unknown unknown instant 1 1 1 7 I32 : SEED2', 'Grid coordinates :', '1 : curvilinear : points=48240 (240x201)', 'XLONG : 115.839 to 123.957 degrees_east', 'XLAT : 30.0914 to 35.6799 degrees_north', ........ '7 : generic : points=1', 'Vertical coordinates :', '1 : surface : levels=1', ........ '4 : generic : levels=4', 'lev : 1 to 4 by 1 level', 'Time coordinate : 36 steps', 'YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss', '2016-06-23 06:00:00 2016-06-23 06:10:00 2016-06-23 06:20:00 2016-06-23 06:30:00', ..... '2016-06-23 11:20:00 2016-06-23 11:30:00 2016-06-23 11:40:00 2016-06-23 11:50:00']

查看文件信息的操作符与cdo命令行操作符相同,在python中是以方法的方式调用。

通过 input 参数指定输入文件,如果需要输出文件时,则通过 output 参数指定:

代码语言:javascript复制In [8]: cdo.timmean(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfmean.nc") 性能对比

对比cdo命令行和Python-cdo接口的执行效率:

以下两个命令执行相同的操作:先选择1-5时步的所有变量数据,然后在结果中选择指定的变量。

代码语言:javascript复制In [21]: %time os.system("cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc") CPU times: user 0 ns, sys: 3.29 ms, total: 3.29 ms Wall time: 36.9 s Out[21]: 0 In [22]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub_python.nc") CPU times: user 0 ns, sys: 3.65 ms, total: 3.65 ms Wall time: 41.4 s Out[22]: 'wrfsub_python.nc' In [23]: %time os.system("cdo copy wrfout_d02_2016-06-23_06_00_00 wrfcopy_cdo.nc") CPU times: user 2.3 ms, sys: 174 µs, total: 2.48 ms Wall time: 10min 1s Out[23]: 0 In [24]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy_python.nc") CPU times: user 0 ns, sys: 3.73 ms, total: 3.73 ms Wall time: 10min 43s Out[24]: 'wrfcopy_python.nc'

测试数据大小:19G,从上述结果中可以看出,cdo命令行的耗时和python接口的耗时差别不大。如果是对大量数据进行操作的话,可以优先使用命令行方式,效率相对会高一些。

注:未进行完全测试,结果可能存在一定偏差。

参数

在利用 cdo 转换数据集格式时,需要指定输出文件格式,比如选择变量或时步时也需要指定操作符的参数。

在使用pyhon接口时如何指定CDO命令行方式的参数呢?

代码语言:javascript复制In [25]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy.grb", option = "-f grb") CPU times: user 0 ns, sys: 4.12 ms, total: 4.12 ms Wall time: 12min 18s Out[25]: 'wrfcopy.grb'

只需要在调用方法时添加 option 参数即可。

为每个操作符添加参数时,只需要将参数作为方法的第一个参数即可。比如:

代码语言:javascript复制In [26]: %time cdo.seltimestep("1/3",input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub1.grb", option = "-f grb") CPU times: user 244 µs, sys: 3.87 ms, total: 4.11 ms Wall time: 44.9 s Out[26]: 'wrfsub1.grb' 链式操作

python-cdo中完整的支持类似cdo命令行的链式操作符,执行顺序和CDO命令行操作相同。

代码语言:javascript复制In [27]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub.grb", option = "-f grb") CPU times: user 4.58 ms, sys: 349 µs, total: 4.93 ms Wall time: 37.6 s Out[27]: 'wrfsub.grb'

通过上述命令可以看出,除了 selname 操作的参数时在方法内单独给出之外,其余**操作符(seltimestep)**的调用方式和cdo命令行调用方式相同。

相当于:

代码语言:javascript复制cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc 临时文件

cdo命令行的链式操作可以忽略中间临时文件的输出,从而节省了不必要的空间存储,python-cdo也提供了临时文件的处理。

当不指定 output 参数时,当前文件夹下是不会生成输出文件的,但是从输出结果可以看出,输出文件存放到了临时文件夹下。

代码语言:javascript复制In [28]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00") CPU times: user 3.05 ms, sys: 4.09 ms, total: 7.14 ms Wall time: 38.2 s Out[28]: '/tmp/cdoPy_f_c2j0l'

类似临时文件的处理方式,当需要处理大量数据时,可以控制输出文件的输出,从而节省大量的时间(前提是不需要输出文件或是输出文件本身已经存在了)。可以通过以下两种方式控制输出文件的输出:

设置全局属性代码语言:javascript复制cdo.forceoutput = True/False 操作符选项代码语言:javascript复制cdo.selname("SCW", input = "wrfout_d02_2016-06-23_06_00_00", force = False) 多线程处理

python-cdo提供了多线程处理方式,可以处理能并行执行的任务。比如:

代码语言:javascript复制from cdo import * import multiprocessing def showlevel(arg): return cdo.showlevel(input=arg) cdo = Cdo() cdo.debug = True ifile = '../wrfsub.nc' pool = multiprocessing.Pool(1) results = [] for i in range(0,5): results.append(pool.apply_async(showlevel, [ifile])) pool.close() pool.join() for res in results: print(res.get())

python-cdo最重要的更新之一就是支持 numpy/narray 数组操作。通常有3种方式来获取数据:

文件句柄

使用文件句柄可以非常方便的获取变量,属性,维度等信息。可以使用 returnCdf 关键词或 readCdf 方法。比如:

代码语言:javascript复制In [50]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnCdf = True).variables["T"][:] In [51]: t.shape Out[51]: (3, 59, 201, 240) In [46]: ff = cdo.readCdf("wrfout_d02_2016-06-23_06_00_00") In [47]: t = ff.variables["T"] In [48]: t.shape Out[48]: (36, 59, 201, 240) numpy/narray 对象

当需要读取特定变量时可使用此方式

代码语言:javascript复制In [52]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnArray = "T") In [53]: t.shape Out[53]: (3, 59, 201, 240) 掩膜数组

如果目标变量含有缺省值,即有FillValue之类表示缺省值的属性,则会影响返回结果。比如:对海洋区域数据进行掩膜。

代码语言:javascript复制oro = cdo.setrtomiss(-10000, 0, input = cdo.topo( options = '-f nc'), returnMaArray = 'topo')

setrtomiss 表示将在 [-10000, 0]之间的数设置为缺省值。

绘图

能够直接操作 numpy/narray 数据的好处之一就是处理好之后既可以直接进行绘图。当然,cdo也可以编译为支持 Magics++,然后在操作之后进行绘图操作,但是仍没有在python 中利用 matplotlib 等绘图库要方便。

由于变量 t 在上面已经获取并且处理了,因此此处直接使用。

代码语言:javascript复制In [62]: import matplotlib.pyplot as plt In [63]: plt.contourf(t[1, 6, :, :]) Out[63]: In [64]: plt.colorbar() Out[64]: In [65]: plt.show()

关于python-cdo中提供的方法的使用方式,可以查看帮助。如果帮助看不明白,可以查看单元测试脚本,单元测试脚本中基本上包含了所有使用方式,相比于官方文档信息可能更全,但是需要仔细斟酌理解。

最后,值得一提的是,cdo 和 xarray 能够有效的集成,从而可以很好的利用 xarray 所营造的数据处理生态,更高效的进行数据处理、分析和可视化。

使用手册下载

在好奇心Log公众号后台回复CDO获取PPT说明文档及PDF使用手册



【本文地址】


今日新闻


推荐新闻


    CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3